| 1. Identificação | ||||||||||
| Tipo de Referência | Tese ou Dissertação (Thesis) | |||||||||
| Site | mtc-m21c.sid.inpe.br | |||||||||
| Código do Detentor | isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S | |||||||||
| Identificador | 8JMKD3MGP3W34R/44DTA5B | |||||||||
| Repositório | sid.inpe.br/mtc-m21c/2021/03.30.15.24 | |||||||||
| Última Atualização | 2021:07.05.18.05.01 (UTC) simone | |||||||||
| Repositório de Metadados | sid.inpe.br/mtc-m21c/2021/03.30.15.24.12 | |||||||||
| Última Atualização dos Metadados | 2022:04.03.19.26.54 (UTC) administrator | |||||||||
| Chave Secundária | INPE-18440-TDI/3090 | |||||||||
| Chave de Citação | Pereira:2021:DaCuAl | |||||||||
| Título | Data cube algorithm for high sequentiality satellite telemetry data analysis  | |||||||||
| Título Alternativo | Algoritmo de cubo de dados para dados de telemetria de satélite com alta sequencialidade | |||||||||
| Curso | CSE-ETES-DIPGR-INPE-MCTI-GOV-BR | |||||||||
| Ano | 2021 | |||||||||
| Data | 2021-03-25 | |||||||||
| Data de Acesso | 07 maio 2024 | |||||||||
| Tipo da Tese | Dissertação (Mestrado em Engenharia e Gerenciamento de Sistemas Espaciais) | |||||||||
| Tipo Secundário | TDI | |||||||||
| Número de Páginas | 84 | |||||||||
| Número de Arquivos | 1 | |||||||||
| Tamanho | 2388 KiB | |||||||||
| 2. Contextualização | ||||||||||
| Autor | Pereira, Yuri Matheus Dias | |||||||||
| Banca | Santos, Walter Abrahão dos (presidente) Ferreira, Maurício Gonçalves Vieira (orientador) Silva, Rodrigo Rocha (orientador) Chagas Junior, Milton de Freitas Lobo, José Eduardo Morello | |||||||||
| Endereço de e-Mail | yurimathe.yp@gmail.com | |||||||||
| Universidade | Instituto Nacional de Pesquisas Espaciais (INPE) | |||||||||
| Cidade | São José dos Campos | |||||||||
| Histórico (UTC) | 2021-03-30 15:26:52 :: yuri.pereira@inpe.br -> pubtc@inpe.br :: 2021-03-31 14:20:58 :: pubtc@inpe.br -> yuri.pereira@inpe.br :: 2021-05-24 08:41:31 :: yuri.pereira@inpe.br -> pubtc@inpe.br :: 2021-05-24 17:50:11 :: pubtc@inpe.br -> yuri.pereira@inpe.br :: 2021-05-24 23:08:58 :: yuri.pereira@inpe.br -> pubtc@inpe.br :: 2021-11-30 20:43:04 :: pubtc@inpe.br -> simone :: 2021-11-30 20:44:15 :: simone :: -> 2021 2021-11-30 20:44:16 :: simone -> administrator :: 2021 2022-04-03 19:26:54 :: administrator -> :: 2021 | |||||||||
| 3. Conteúdo e estrutura | ||||||||||
| É a matriz ou uma cópia? | é a matriz | |||||||||
| Estágio do Conteúdo | concluido | |||||||||
| Transferível | 1 | |||||||||
| Palavras-Chave | data cube inverted index satellite telemetry satellite operations cubo de dados índice invertido satélite telemetria operação de satélites | |||||||||
| Resumo | Satellites are monitored by ground teams via telemetry packages, which report the current status of the equipment and allow them to assess the satellites ability to continue its mission. These telemetry packages compose a large and complex body of data, with satellites that are operated for several years generating large volumes of historical data that is still useful for operation activities and needs to be archived. The volume of historical telemetry data available to the National Institute for Space Research (INPE) is currently estimated to be at least 3 terabytes in total, with a tendency to grow in the coming years. With this volume, and considering that the data analysis on these data is not trivial, requiring expert engineering knowledge, it is necessary to implement systems to perform queries and analysis on them. In this work we identify the queries that are of interest to satellite operators, create a multidimensional model for the telemetry data using a data cube model, and then use the Frag-Cubing data cube computation algorithm as a basis for implementation. First an approach that uses pre-processing of the selected queries is implemented, where the dimensions related to the query are filtered out and low-dimensional cubes are created from them. This approach is compared to the high dimensionality approach that uses all available dimensions, and finds that, while queries are restricted to the filtered dimensions, it has a 15% advantage in query time and in the best cases consumes only 10% of the memory used by the high dimensionality approach. So if the queries have a low dimensionality, there is advantage in using a pre-processed cube from disk than running a query on a data cube already built with the high dimensionality approach. Then an approach based on modifying the Frag-Cubing inverted index algorithm is experimentally validated, which consists in using the high-sequentiality characteristic of some satellite telemetry to replace the lists of tuple identifiers (TID list) with lists of intervals.. This approach on high dimensional data, tested on the queries defined by the operators, uses on average 20% of the memory that traditional lists use, and is up to 3200% faster to answer queries on dimensions with high sequentiality, while being up to 400% slower to answer queries on dimensions with low sequentiality. RESUMO: Satélites são monitorados pelas equipes de solo via pacotes de telemetria, que informam o estado atual dos equipamentos e permitem avaliar a capacidade do satélite de continuar a sua missão. Esses pacotes de telemetria constituem um corpo de dados de elevado tamanho e complexidade, com satélites que são operados por vários anos geram dados históricos de grande volume, ainda úteis para as atividades de operação e que necessitam de ser arquivados. O volume de dados históricos de telemetria disponíveis ao Instituto Nacional de Pesquisas Espaciais (INPE) atualmente é estimado em ao menos 3 terabytes no total, com tendência a crescer nos próximos anos. Com este volume, e considerando que as análises de dados sobre esse arquivos não é trivial, necessitando de conhecimento especialista de engenharia, é necessário a implementação de sistemas para realizar consultas e análises sobre esses dados. Neste trabalho é feita a identificação das consultas que são de interesse dos operadores de satélite, é criada uma modelagem multidimensional para os dados de telemetria utilizando de cubo de dados e então o algoritmo de computação do cubo de dados Frag-Cubing é utilizado como base para implementação. Primeiramente uma abordagem de pré-processamento das consultas selecionados é implementada, onde as dimensões relacionadas a consulta são filtradas e cubos de baixa dimensionalidade são criados à partir delas. Essa abordagem é comparada com a abordagem de alta dimensionalidade com todas as dimensões disponíveis, e encontra que, conquanto que as consultas sejam restritas as dimensões filtradas, tem uma vantagem de 15% no tempo de consulta e nos melhores casos consumindo apenas 10% de memória utilizada pela abordagem de alta dimensionalidade. Assim, se as consultas tiverem uma dimensionalidade baixa, existe vantagem em utilizar um cubo preprocessado do zero do que executar uma consulta em uma cubo de dados construído com abordagem de alta dimensionalidade. Depois uma abordagem baseada na alteração do algoritmo de índice invertido do algoritmo Frag-Cubing é experimentalmente validade, que compõe em utilizar da característica de alta sequencialidade de algumas telemetrias de satélite para substituir as listas de identificadores de tuplas (TID list) por listas de intervalos. Essa abordagem sobre os dados de alta dimensionalidade, testada nas consultas definidas pelos operadores anteriormente, usa em média 20% da memória que a listas tradicional utiliza, e é até 32x mais rápida para responder consultas em dimensões com alta sequencialidade, porém sendo até 4x mais lenta para responder consultas com dimensões com baixa sequencialidade. | |||||||||
| Área | ETES | |||||||||
| Arranjo 1 | urlib.net > BDMCI > Fonds > Produção pgr ATUAIS > CSE > Data cube algorithm... | |||||||||
| Arranjo 2 | urlib.net > BDMCI > Fonds > Produção a partir de 2021 > CGCE > Data cube algorithm... | |||||||||
| Conteúdo da Pasta doc | acessar | |||||||||
| Conteúdo da Pasta source |
| |||||||||
| Conteúdo da Pasta agreement |
| |||||||||
| 4. Condições de acesso e uso | ||||||||||
| URL dos dados | http://mtc-m21c.sid.inpe.br/ibi/8JMKD3MGP3W34R/44DTA5B | |||||||||
| URL dos dados zipados | http://mtc-m21c.sid.inpe.br/zip/8JMKD3MGP3W34R/44DTA5B | |||||||||
| Idioma | en | |||||||||
| Arquivo Alvo | publicacao.pdf | |||||||||
| Grupo de Usuários | pubtc@inpe.br simone yuri.pereira@inpe.br | |||||||||
| Visibilidade | shown | |||||||||
| Licença de Direitos Autorais | urlib.net/www/2012/11.12.15.10 | |||||||||
| Permissão de Leitura | allow from all | |||||||||
| Permissão de Atualização | não transferida | |||||||||
| 5. Fontes relacionadas | ||||||||||
| Repositório Espelho | urlib.net/www/2017/11.22.19.04.03 | |||||||||
| Unidades Imediatamente Superiores | 8JMKD3MGPCW/3F35BSP 8JMKD3MGPCW/46KTFK8 | |||||||||
| Lista de Itens Citando | sid.inpe.br/bibdigital/2013/10.14.22.20 1 | |||||||||
| Acervo Hospedeiro | urlib.net/www/2017/11.22.19.04 | |||||||||
| 6. Notas | ||||||||||
| Campos Vazios | academicdepartment affiliation archivingpolicy archivist callnumber contenttype copyholder creatorhistory descriptionlevel dissemination doi electronicmailaddress format group isbn issn label lineage mark nextedition notes number orcid parameterlist parentrepositories previousedition previouslowerunit progress readergroup resumeid rightsholder schedulinginformation secondarydate secondarymark session shorttitle sponsor subject tertiarymark tertiarytype url versiontype | |||||||||